SkillEvo: Self-Renewing Evolution Gradients from Multi-Turn Interaction Feedback
SkillEvo:多轮交互反馈驱动的自更新智能体技能进化
🧭 Agent Skill 自进化 · 多轮反馈 ★ 深度解读
Tencent Cloud Andon · Zhejiang University
把多轮用户模拟从评估终点改为反馈生成器,并用独立治理层主动修复知识退化,使技能进化梯度可持续
📌 工作参考价值(4 点)
- 多轮用户模拟不要只当测试集,要做成持续产出“可修复知识缺口”的反馈器:电商客服/导购 Agent 可从真实工单抽取 intent agenda + behavior facts + emotion trajectory,让模拟用户按状态机逐层追问,暴露单轮 QA 看不到的深层缺陷;每轮修复后对话自然进入下一层,梯度可再生。
- 反馈可信度三条件值得照搬:coverage/accuracy/attributability。用 intent state machine 保覆盖,用 dual-sided orthogonal evaluation 区分 simulator 和 agent 责任,用 collective attribution 把失败分成 Knowledge Gap / Capability Limit / Evaluation Noise,只把 Knowledge Gap 送入修订。业务里先归因再改知识库,能避免把权限、工具或评测噪声误写成知识。
- 治理层不要只做标量门禁,要做“结构诊断+主动修复”:对 Skill/知识库做 fact consistency 硬约束(dual anchors 分别抓跨轮知识丢失和本轮新增事实错误)和 structural consistency 软约束(bloat、断链、过度泛化)。RAG 知识库、policy 文档、推荐策略知识库的多轮更新都适用,能明显抑制膨胀和事实漂移。
- 版本选择用 dev 集而不是最终标量分数;自动修订不直接上线,保留 human checkpoint。线上 Agent 知识库或策略库的 closed-loop 更新可以采用同样的工程护栏。